Ông tên thật là Phan Đình Đống, sinh tại thôn Địch Lễ, xã Nam Vân, huyện Nam Trực, tỉnh Nam Định (nay là xã Nam Vân thuộc thành phố Nam Định), thường trú tại Quận 3, Thành phố Hồ Chí Minh. Ông là con thứ 5 trong gia đình, em trai của Lê Đức Thọ (tức Phan Đình Khải) và Thượng tướng Đinh Đức Thiện (tức Phan Đình Dinh), người có nhiều kì công gắn liền với đường mòn Hồ Chí Minh.

Ông tham gia cách mạng từ năm 1936 trong phong trào sinh viên Huế và Hà Nội, vào Đảng Cộng sản Đông Dương năm 1939. Từ năm 1938 đến năm 1940, ông tham gia Tổ chức thanh niên dân chủ, rồi Thanh niên phản đế ở trường Trung học Nam Định, là Bí thư Đoàn Thanh niên phản đế Nam Định.

Ông từng bị thực dân Pháp bắt giam vài năm (từ 1940 đến 1945), bị giam giữ tại các nhà tù ở Nam Định, Hỏa Lò (Hà Nội), Sơn La, Khám Lớn (Sài Gòn), Côn Đảo.[3]

Ông là Bí thư Thanh niên cứu quốc, sau đó là Trưởng ty Công an, Phó Bí thư Tỉnh ủy Cần Thơ. Từ năm 1948 đến năm 1949, ông là Trưởng ty Công an, sau đó là Phó Bí thư, rồi Bí thư Tỉnh ủy Mỹ Tho.

Từ năm 1950 đến năm 1954, ông là Phó Giám đốc Sở Công an Nam Bộ, ban đầu (1950-1952) làm Phó Bí thư, Bí thư liên chi chính quyền Nam Bộ, sau đó (1952-1954) phụ trách Công an miền Đông Nam Bộ.

Từ năm 1954 đến năm 1960, ông là Phó ban, sau đó là Trưởng ban địch tình Xứ ủy Nam Bộ, Xứ ủy viên dự khuyết Xứ ủy Nam Bộ (1958-1960).

Từ năm 1960 đến năm 1965, ông là Bí thư Khu ủy miền Đông Nam Bộ, Chính ủy Quân khu miền Đông Nam Bộ.

Từ năm 1965 đến năm 1975, ông là Ủy viên Thường vụ, Phó Bí thư, Bí thư Thành ủy Sài Gòn - Gia Định, Chính ủy Quân khu Sài Gòn - Gia Định.